merge?

Six the SWIOTLB. The bus range does need to be contiguous after
all as a range comparsion is used to determine if a given
dma address is within the swiotlb aperture.

Maybe we can do better sometime in the future (fast address
range comparison yet not require bus-contiguous aperture). But
reverting this morning's patch is fine for now.

Signed-off-by: Keir Fraser <keir@xensource.com>

merge?

Improve error paths and cleanup code.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Get rid of memory_t. Almost all uses should be unsigned long.
The few uses for a physical/machine address have been mostly
changed to u64.

Grant table code probably needs auditing for PAE correctness,
but at least the interface is now sound.

Signed-off-by: Keir Fraser <keir@xensource.com>

Simplify pagetable initialisation. Since swapper_pg_dir now
is the one allocated by the domain builder, we can be sure
it is below 4GB (essential for PAE).

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix many uses of machine addresses in XenLinux. Primarily
this fixes users of virt_to_machine/machine_to_virt to
use virt_to_mfn/mfn_to_virt where that is more appropriate.

This should be a big step to improved PAE stability.

Signed-off-by: Keir Fraser <keir@xensource.com>

Merge.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

This time, it's fixed.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

merge?

Correctly unmap ring page if using grant tables.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Unbreak the build in the non-CONFIG_SMP and x86_64 cases.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Get rid of some annoying debug messages.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Merge.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Fix suspend/resume for domains with devices which are in xenstore but have no xenbus aware driver.
Information about network devices is stored in xenstore.  Xenbus creates
device objects for these devices but the network driver doesn't support
finding devices over xenbus yet and thus these devices have no driver.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Add very rough xend support for xenbus block device setup.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix driver to work with updated probe driver.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Switch block device setup/teardown over to xenbus/xenstore.
Remove device probing support over the device channel.
g/c all the control message code.
Simplify and cleanup internal function calling code (explicit arguments
instead of passing structs around).
Also includes:
Changed "readonly" to "read-only". "backend" is still not hyphenated, but
that seems to be fairly common usage.
Block backends use xenbus_dev_error, making debugging nicer.
The block front end is told explicitly what domid to use to talk to the
backend. There's speculation that fake domid-like tokens may be given
for cluster purposes in future, so deriving from the backend dir name is
not guaranteed to work. Backends still derive front-end ids, using a
xenbus helper (xenbus_uuid_to_domid).
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

use "vbd" as driver name for blkfront devices, not "blkfront".
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Merge.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Add support for multiple devices when using grant tables.
Also better support non-transactional store updates.
Also remove some extra printks.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Switch block device setup/teardown over to xenbus/xenstore.
Remove device probing support over the device channel.
g/c all the control message code.
Simplify and cleanup internal function calling code (explicit arguments
instead of passing structs around).
Also includes:
Changed "readonly" to "read-only". "backend" is still not hyphenated, but
that seems to be fairly common usage.
Block backends use xenbus_dev_error, making debugging nicer.
The block front end is told explicitly what domid to use to talk to the
backend. There's speculation that fake domid-like tokens may be given
for cluster purposes in future, so deriving from the backend dir name is
not guaranteed to work. Backends still derive front-end ids, using a
xenbus helper (xenbus_uuid_to_domid).
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Tidy up a bit.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

The entire swiotlb aperture does not need to be contiguous.
Only individual aligned SEGSIZE blocks need to be contiguous.

Signed-off-by: Keir Fraser <keir@xensource.com>

By default, pre-reserve some memory in Xen that is not allocated
to domain 0 (1/16th available memory, up to 128MB maximum).
Also, extend dom0_mem boot parameter to accept negative values.
A negative value means "allocate all memory, minus the specified
amount".

Signed-off-by: Keir Fraser <keir@xensource.com>

Default unit for all Xen memory parameters is kilobytes.
Signed-off-by: Keir Fraser <keir@xensource.com>

The patch allows x86_64 SMP Xen/XenLinux (dom0) to run on relatively big
SMP machines.
I tested on an 8-way machine with 8GB. It looks stable as far as I did
sanity checks, such as an infinite loop of "make -j32"; it's very fast!.

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

This patch:

* adds a C-based security policy translation tool to Xen (secpol_xml2bin)
and removes the current Java
security policy translator (Java dependencies).  The C-based tool
integrates into the Xen source tree build
and install (using gnome libxml2 for XML parsing). See install.txt.

* introduces security labels and related tools. Users can now use
semantic-rich label names to put security-tags
on domains. See example.txt, policy.txt.

* moves the security configuration (currently ACM_USE_SECURITY_POLICY)
from xen/Rules.mk
into a separate top-level Security.mk file  (it is needed by the
tools/security and xen/acm).

Both xen/acm and tools/security are built during the Xen build process
only if ACM_USE_SECURITY_POLICY
is not ACM_NULL_POLICY (which is the default setting).

Signed-off-by Reiner Sailer <sailer@us.ibm.com>
Signed-off by Stefan Berger <stefanb@us.ibm.com>
Signed-off by Ray Valdez <rvaldez@us.ibm.com>

This patch provides a workaround for bugzilla #90 which shows up far too
often when creating and then destroying lots of domUs and dom0 is SMP.
Details are in the [1]bug.  With this patch, I now can create/destroy
domains in a tight loop for hours where previously every 3 to 10 cycles
would blow up.

1. http://bugzilla.xensource.com/bugzilla/show_bug.cgi?id=90

Signed-off-by: Ryan Harper <ryanh@us.ibm.com>

Proleptic xend bug fix for multi-sxp messages; stricly more robust than before.

Signed-off-by: Steven Hand <steven@xensource.com>

Remove support for xenbus driver subtypes since with the subtype field there's no fallback.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Add support to xenbus_gather to scan for strings and return them in allocated memory.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Get rid of xenbus_uuid_to_domid - get the frontend id from the node.
We don't want to parse paths we read out of the store to _construct_
other paths and tie down the store layout for no good reason.
Also require the frontend path to exist and be valid before creating
the device.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Let dev_changed detect devices when a watch fires with a longer node name.
Also improve device cleanup when the dir for a while frontend domain
is removed.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Free memory returned from xenbus_directory call.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Don't free subtype field unconditionally.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Get device when we find it - fixes refcount leak and is correct.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Create devices for the xenbus-bus's.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Rename bus names from xenbus* to xen*.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Make probe less chatty.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Update probe code for backend layout.
Backend directories are of form backend/<type>/<frontend-uuid>/<id>.
This extra level makes an asymmetry with front ends (device/type/id) and
are too long to make nice bus-ids under Linux, but the code isn't too
horrible, and an OS which only wants to be a guest doesn't need to implement
it. It allows backends to calculate the front-end path directly, which
is a nice benefit.
Also: subtype matching is tightened: they must match exactly. That way a future
variant which requires a specific driver will not match current drivers.
Signed-off-by: Rusty Russell <rusty@rustcorp.com.au>
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Make sure to cmpxchg entire pte on emulated ptwr path.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix emulated writable pagetable updates where access is
less than a full pte and operation requires cmpxchg.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix direct_remap_area_pages() to handle pagetables
above 4GB.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix __get_user() and friends to work correctly for
64-bit quantities on x86/32. Should fix writable
pagetables on PAE.

Signed-off-by: Keir Fraser <keir@xensource.com>

A really nasty workaround for a race.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Clean up bootmem initialisation for x86/64. Question still
remains over why boot fails if we try to free up the bottom
1MB of pseudophysical memory...

Signed-off-by: Keir Fraser <keir@xensource.com>

Actually make suspending SMP domUs work: the previous commit didn't
bring the other vcpus up correctly.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

Fix Xen patches to Linux so that they use pfn_pte() and
pfn_pte_ma() constructors, rather than splicing together
ptes manually. Not only is this cleaner, it also ensures
that the NX/XD bit is safely masked off on systems that do
not support it.

Signed-off-by: Keir Fraser <keir@xensource.com>

Tiny formatting tweak in addition to previous changeset.

Clean up formatting of Xen crash messages.
Signed-off-by: Keir Fraser <keir@xensource.com>

Add SK98LIN driver to default -xen0 Linux configs.
Signed-off-by: ian@xensource.com

Make antispoof default to 'no' in network-script as the default in xend is 'no'. Having them different only causes confusion.

Signed-off-by: ian@xensoure.com

fail nicely when passing unknown option to xm list

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Fix range_straddles_boundary() check to exclude regions that
were allocated with xen_create_contiguous_region(). Such areas
do not require bounce buffers (swiotlb).

Signed-off-by: Keir Fraser <keir@xensource.com>

Enable IP_PNP support in 64bit domU (needed for xm ip= etc.)

Signed-off-by: James Bulpin <james@xensource.com>

Fix the SWIOTLB to correctly match on bus addresses.
Signed-off-by: Keir Fraser <keir@xensource.com>

fail domU creation if memory need couldn't be succeed after ballooning out dom0

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Enable MATCH_PHYSDEV netfilter support as a module.
Signed-off-by: iab@xensource.com

Fix e820 array stack overflow
I don't see the problem on machine that I typically use, but I found and
fixed the problem on a big machine. It was causing a stack overflow. If
you look at the current code, it's a bit dangerous, see => part. This
patch fixes it.
From: "Nakajima, Jun" <jun.nakajima@intel.com>
Signed-off-by: ian@xensource.com

We found machines with >32 E820 memory map entries, where Xen fails to
boot (but Linux does boot fine). The native Linux (both x86 and x86_86)
already has:

#define E820MAX 128             /* number of entries in E820MAP */

Signed-off-by: Jun Nakajima <jun.nakajima@intel.com>

Fix vmalloc_fault() path for x86/64 XenLinux.
There may be a deeper underlying problem w.r.t pagetable
initialisation at start of day, but this simple fix is
a good workaround until we have time to investigate
properly.

Signed-off-by: Keir Fraser <keir@xensource.com>

Fix the skbuff allocator for multi-page buffers.
pci-dma.c still needs fixing to recognise contiguous
multi-page buffers.
Signed-off-by: Keir Fraser <keir@xensource.com>

Formatting cleanup.

have a useful line reporting when IOMMU_BUG_ON trigger

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Make xm save/restore work for SMP guest domains.

Signed-off-by: Steven Smith, sos22@cam.ac.uk

fix missing swiotlb.c file in linux build after running cleanup.

Signed-off-by: Vincent Hanquez <vincent@xensource.com>

Fix module build by removing duplicate EXPORT_SYMBOL of
dma_alloc_coherent and dma_free_coherent.

Allocate_empty_lowmem_regions available to non-priv domains
and to modules. From Ross Mcilroy.

merge

Another tweak to the network-bridge script.
Signed-off-by: ian@xensource.com

merge?

Restore domains with a different uuid than they had.
Needed for migration to localhost and migration between hosts with
a shared/distributed xenstore.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Python build fix.

Recreate watches on domain restore.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Clear "/control/shutdown" node on domain restore.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

xenbus build and license fixes.

Add support for XENSTORED_TRACE to enable trace output from xenstored.
Set XENSTORED_TRACE in /usr/sbin/xenstored's environment to enable the
trace output.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix compile warning from zero-length printf format string.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Avoid spurious "Ignoring shutdown request" messages, fix memory leak and simplif
y code.
Also fix whitespace.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Yet another work-around in the network-bridge script
From: Zhai, Edwin [edwin.zhai@intel.com]
Signed-off-by: ian@xensource.com

Really randomise MAC addresses for multi-VIF guests.
Reseeding on every VIF doesn;t work as timeofday doesn't
change quickly enough.

Signed-off-by: Jim Dykman <dykman@us.ibm.com>
Signed-off-by: Keir Fraser <keir@xensource.com>

Add a couple of well chosen assertions to new context
switch code.
Signed-off-by: Keir Fraser <keir@xensource.com>

Fix context switching race which could cause vcpu_pause()
to not actually do its job properly. This requires us to
move clearing of VCPUF_running to be protected by the
scheduler lock.

Signed-off-by: Keir Fraser <keir@xensource.com>

Don't bail early if we detect that time goes backwards.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

cleanup whitespace.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

merge?

Only introduce domain to the store when we have store channel _and_ mfn.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

In direct_remap_area_pages, reset w pointer for next loop after use.
Signed-off-by: Christian Limpach <Christian.Limpach@cl.cam.ac.uk>

Fix xtime_lock handling in timer interrupt. There's no need
to hold it while doing local VCPU work, and there might be
danger of deadlock if we do.

Signed-off-by: Keir Fraser <keir@xensource.com>

Use a SWIOTLB to use pre-reserved bounce buffers for high memory
and multi-page DMA accesses. This is based on a preliminary patch
from Suresh Siddha at Intel.

Signed-off-by: Keir Fraser <keir@xensource.com>
Signed-off-by: Suresh Siddha <suresh.b.siddha@intel.com>

Add grant table support to block tap.

This patch adds grant table support to the block tap.  The AIO support
introduced in patch 9f0eff879d8913a824280cf67658a530c80e8424 still
works -- The tap code maps a granted page twice, once in kernel and
once in user.  The kernel page is patched into the p2m table and pages
added to the user vm_area are mapped to the appropriate underlying
struct pages using the VM_FOREIGN hooks in get_user_pages().

Comparing block IO from dom0 to the existing block backend, and to the
tap managing the same partition as the BE from user space with AIO, I
get the following performance:

Version  1.03       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
xen0             2G 31198  95 56818   8 20967   2 28415  77 59595   4 264.9   0
xenU-blkbe2cpuGT 2G 31157  96 54026  10 25585   4 30664  90 64919   7 292.7   0
xenU-blktp2cpuGT 2G 32313  97 54217   8 20950   3 28117  87 65924   4 191.8   0

Signed-off-by: andrew.warfield@cl.cam.ac.uk

Disable xenconsoled throttling for now.

Under the right circumstances, xenconsoled will corrupt its internal
list of domains causing a SEGV.  This is usually characterized by a
rapid number of creations/destructions.  The attached patch fixes this.

1) Fix uninitialized next pointer.  This could sometimes cause xenconsoled to
   SEGV on an invalid domain pointer
2) Fix race condition in iterating domain list where removing a domain in a
   callback could lead to the iterators becoming invalid.

Signed-off-by: Anthony Liguori <aliguori@us.ibm.com>

merge

merge

Tweaks to network-bridge script.
Signed-off-by: ian@xensource.com